EP6. 트랜스포머 대체 신경망 연구

트랜스포머의 O(N²) 어텐션 한계를 극복하기 위해 등장한 State Space Model(SSM) 계열 — S4(SSMv4)·Mamba — 의 원리, 아키텍처, 실무 적용 범위를 체계적으로 정리한다.

0. 사전 필수 용어 (선행지식)

본 EP 이해 전 다음 5개 용어를 학습합니다.

1. 트랜스포머 (Transformer) — 어텐션 메커니즘 기반의 신경망 아키텍처. 입력 시퀀스의 모든 토큰 쌍 간 상호 관계를 동시에 계산한다. 비유: 교실 전체 학생이 동시에 서로 눈을 맞추는 구조. 본문 §2·§3·§8에서 한계와 비교 기준으로 등장한다.

2. 어텐션 (Attention) — 쿼리(Q)·키(K)·밸류(V) 행렬 연산으로 토큰 간 중요도를 수치화하는 메커니즘. 계산 복잡도는 시퀀스 길이 N에 대해 O(N²). 본문 §2·§3·§8에서 SSM과 대조된다.

3. 상태 공간 모델 (State Space Model, SSM) — 시퀀스를 시간에 따라 변화하는 내부 상태(hidden state)로 모델링하는 신경망 계열. 비유: 포물선 운동에서 총 비행 시간을 적분으로 한 번에 구하듯, 토큰 등장 순서의 누적 영향을 커널 하나로 표현한다. 본문 §3·§6에서 핵심 원리로 사용된다.

4. FFN (Feed-Forward Network) — 트랜스포머의 각 레이어에서 어텐션 이후 비선형성을 처리하는 완전연결 신경망. Mamba 아키텍처에서도 S4 레이어 후 비선형성 보정을 위해 MLP(FFN)가 동일하게 사용된다. 본문 §3·§4에서 반복 등장.

5. MoE (Mixture of Experts) — FFN 레이어를 여러 전문가(expert) 서브네트워크로 분할하고 게이팅 네트워크가 토큰마다 일부 전문가만 활성화하는 구조. SSM 출력이 임베딩 벡터 형태이므로 트랜스포머의 MoE와 결합 가능하다. 본문 §3·§7에서 Jamba 결합 사례로 등장.

📚 선수지식 보강: 트랜스포머·어텐션 기초는 AI 엔지니어링 EP4 (최신 LLM 구조 1편) 또는 Vaswani et al. "Attention Is All You Need" (2017) 참고.

1. 주제 정의

트랜스포머 대체 신경망 연구는 기존 어텐션 기반 아키텍처의 구조적 한계(O(N²) 계산 복잡도, 순차 상태 부재)를 해결하기 위해 State Space Model(SSM) 계열 모델을 연구하는 분야다. SSM은 시퀀스를 "시간에 따라 변화하는 상태"로 모델링하여 트랜스포머의 N² 어텐션 없이 순차 정보를 보존한다. 핵심 아이디어: 입력이 내부 상태에 미치는 영향을 적분 커널로 일괄 계산함으로써 O(N) 선형 복잡도를 달성하면서도 트랜스포머의 모든 기법(MoE, LayerNorm, 임베딩 등)과 호환되는 벡터 출력을 생성한다.

2. 풀려는 문제

트랜스포머 대체 신경망 연구가 해결하려는 핵심 문제는 다음 3가지다.

• 문제 1: 컨텍스트 길이 N배 → 어텐션 계산량·메모리 N²배 (이차 복잡도) — 128K 토큰 컨텍스트는 8K 대비 어텐션 비용이 256배로 폭증한다. 큰 모델 구동에는 선형적으로 자원이 필요하지만, 어텐션 자체가 이차 복잡도이므로 컨텍스트 확장에 구조적 병목이 발생한다.

• 문제 2: 모든 토큰 동시 어텐션 → 순차 상태 부재 → 긴 문맥 해석 실패 — 트랜스포머는 "나는 오늘 집에 갔어" 문장에서 '나는'이 먼저 나왔고 '오늘'이 다음에 나왔다는 순서를 구조적으로 인식하지 않는다. RoPE 등 Positional Encoding은 상대적 거리만 표현할 뿐 절대 순서를 보장하지 않아, 긴 문맥에서 앞뒤 맥락 구분에 실패한다.

• 문제 3: 외부 보완의 한계 — 슬라이딩 윈도우·Recurrence(RAG)·증강 컨텍스트 등으로 보완을 시도하지만, 모델 자체가 순차 상태를 지원하지 않으므로 근본 한계가 명확하다.

• 문제 4: 추론 비용·메모리 → 온디바이스·에지 배포 어려움 — 트랜스포머의 KV 캐시는 시퀀스 길이·레이어 수에 비례해 증가하므로 엣지 기기나 온디바이스 배포 시 VRAM 병목이 심각하다.

💡 실무 노하우: 트레이드오프 관점에서, 트랜스포머는 표현력(ICL 성능, 패턴 매칭)이 강하지만 컨텍스트 비용이 크다. SSM 계열은 긴 순서 데이터(DNA·시계열·주가)에서 효율이 뛰어나지만 120B 이상 범용 LLM 수준의 표현력은 아직 미달이다 (2026-05 기준). 도메인과 시퀀스 길이를 먼저 판단하고 아키텍처를 선택하라.

3. 핵심 개념·구조

SSM (State Space Model)과 S4(SSMv4)의 4대 메커니즘

슬라이드 원문(captures[1].ocr_text·description)에서 명시된 4가지 핵심 메커니즘:

• ① 시간 흐름 모델링: 시퀀스를 시간에 따라 변하는 상태로 모델링한다. 어텐션처럼 모든 토큰을 한꺼번에 보지 않고 T 시간까지의 입력을 토큰의 순차 등장 카운트로 내부 상태에 누적 반영한다.

• ② 적분함수 커널 병렬: t 시간까지의 입력이 내부 상태에 준 영향을 적분함수(커널)로 도출한다. 커널이 도출되면 각 토큰에 곱해 O(N) 병렬로 합산 임베딩 영향을 계산할 수 있다. 비유: 포물선 그래프를 적분하면 비행 시간이 나오듯, 토큰의 내부 상태 영향을 하나의 함수로 압축한다.

• ③ FFN 비선형성 보정: 각 토큰은 고유한 비선형 특성을 가진다. SSM 커널 연산 후 반드시 별도의 FFN(Feed-Forward Network) 레이어에서 비선형성을 보정한다. 비선형 파라미터는 행렬로 학습한다.

• ④ 가중치 반영 임베딩 출력으로 MoE·트랜스포머 결합: S4의 출력은 어텐션 결과와 동일한 가중치 반영 임베딩 벡터다. 벡터 집합이므로 트랜스포머의 MoE·LayerNorm·분류 헤드 등 모든 기법과 완전 호환된다. 중간에 트랜스포머 레이어를 삽입하는 Jamba 구조가 가능한 이유다.

Mamba 블록 구조 (데이터 흐름)

1. 입력 시퀀스 (토큰 임베딩) →
2. LayerNorm (정규화, 학습 안정성) →
3. S4 레이어 (Mamba) ← SSM 커널 연산: 시간 순서 인식 적분 →
4. LayerNorm (재정규화) →
5. MLP(FFN) ← 비선형성 보정 (③번 메커니즘) →
6. 출력 벡터 → 다음 레이어 또는 분류 헤드

Jamba(AI21) 하이브리드: [Mamba블록×N → Attention → Mamba블록×N → ...]

4. 구현 가이드 (Do It Yourself)

시작 전 (Before you begin)

선수 조건: - Python 3.10 이상, CUDA 11.6 이상 (NVIDIA GPU 필수) - 경로 A (입문 권장): pip install transformers accelerate torch — CUDA 커널 빌드 불필요 - 경로 B (원조 구현): pip install mamba-ssm causal-conv1d — 설치 시간 ~10분, CUDA 빌드 필수 - GPU 메모리 4GB 이상 (mamba-130m 기준)

소요 시간: 약 20~30분.

Step 1 — 환경 준비

python --version    # 3.10+ 확인
nvidia-smi          # GPU 가용성 확인
pip install transformers accelerate torch

⚠️ 주의: mamba-ssm(경로 B)은 CUDA Toolkit 설치 환경에서만 빌드된다. nvcc not found 오류 발생 시 경로 A(Hugging Face)로 전환한다. WSL2 + NVIDIA 드라이버는 nvidia-smi 결과로 확인한다.

✅ 확인: python -c "import torch; print(torch.cuda.is_available())" 결과가 True인지 확인한다.

Step 2 — Mamba 모델 로드

from transformers import MambaForCausalLM, AutoTokenizer

model_id = "state-spaces/mamba-130m-hf"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = MambaForCausalLM.from_pretrained(model_id).to("cuda")

⚠️ 주의: state-spaces/mamba-130m-hf는 Hugging Face 변환 버전이다. -hf suffix 없는 원조 모델은 mamba-ssm 패키지 없이 로드되지 않는다. 입문 시 반드시 -hf 버전을 사용한다.

💡 실무 노하우: .to("cuda") 대신 device_map="auto"를 사용하면 멀티 GPU 환경에서 자동 분배된다.

📚 참고: Mamba 공식 구현 — https://github.com/state-spaces/mamba

✅ 확인: print(model.config.model_type) 결과가 "mamba"인지 확인한다.

Step 3 — 트랜스포머 vs Mamba 비교 추론

inputs = tokenizer("긴 문맥 예시 입력", return_tensors="pt").to("cuda")
out = model.generate(**inputs, max_new_tokens=64)
print(tokenizer.decode(out[0], skip_special_tokens=True))

💡 실무 노하우: Mamba는 인과적(causal) 언어 모델이므로 generate() API가 GPT 계열과 동일하게 동작한다. Instruct 포맷(채팅)은 파인튜닝된 모델에서만 유효하다.

✅ 확인: 오류 없이 텍스트가 생성되면 추론 환경이 정상이다.

Step 4 — 추론 시간·메모리 측정

import time, torch
for n in [1024, 8192, 32768]:
    t0 = time.time(); torch.cuda.reset_peak_memory_stats()
    with torch.no_grad(): model(**tokenizer("A" * n, return_tensors="pt").to("cuda"))
    print(f"N={n} | {time.time()-t0:.2f}s | {torch.cuda.max_memory_allocated()/1024**3:.2f}GB")

💡 실무 노하우: Mamba의 메모리 증가는 O(N) 선형이다. 트랜스포머는 KV 캐시가 O(N×레이어 수)로 증가하므로 32K 이상 컨텍스트에서 절감 효과가 두드러진다.

✅ 확인: N=32768에서도 OOM 없이 실행되면 Mamba 긴 시퀀스 이점이 실증된 것이다.

5. 적용 사례 (공신력 오픈소스 5가지+)

• state-spaces/mamba https://github.com/state-spaces/mamba — Mamba(S6) 공식 구현. CUDA 최적화 커널, 130M·370M·790M·1.4B·2.8B 모델 포함. GitHub stars 15K+ (2026-05 기준).

• Hugging Face Transformers https://github.com/huggingface/transformers — MambaForCausalLM·Mamba2ForCausalLM 클래스로 Mamba·Mamba2 통합 API 제공. pip install transformers만으로 즉시 사용 가능.

• state-spaces/s4 https://github.com/state-spaces/s4 — S4(SSMv4) 공식 구현 (논문 저자 Albert Gu). HiPPO 행렬·구조화 커널·Long Range Arena 벤치마크 포함.

• vLLM https://github.com/vllm-project/vllm — Mamba 추론 서빙 지원. PagedAttention 대신 SSM 상태 캐싱으로 고처리량 배포.

• Caduceus https://github.com/kuleshov-group/caduceus — Mamba 기반 DNA 시퀀스 분석 모델. 이중가닥 DNA의 양방향성을 SSM으로 처리. 강의에서 언급한 "DNA 염기열 분석 압도적 성능"의 대표 사례.

• Jamba (AI21 Labs) https://huggingface.co/ai21labs/Jamba-v0.1 — Mamba + Transformer 하이브리드. 256K 컨텍스트, 52B 파라미터. 강의에서 직접 언급된 "잠바" 모델.

📚 참고: 위 OSS는 모두 GitHub stars ≥ 5K 또는 공식 모델 릴리스 기준이다. Hugging Face Hub의 state-spaces 조직에서 전체 모델 목록 확인: https://huggingface.co/state-spaces

6. 핵심 원리

원리 1 — 적분 커널의 병렬화 (SSM의 수학적 핵심)

SSM이 O(N) 병렬 계산을 달성하는 핵심은 "내부 상태에 대한 영향을 적분 함수(커널)로 도출"한 뒤 모든 토큰에 일괄 적용하는 구조다. 포물선 운동에서 총 비행 시간을 적분으로 한 번에 구하듯, T 시간까지 토큰이 내부 상태에 미친 영향을 하나의 커널로 표현한다. 이 커널을 각 토큰 임베딩에 곱하면 — 행렬 곱셈이므로 GPU에서 완전 병렬 — O(N) 연산으로 모든 토큰의 합산 임베딩 영향을 얻는다. 비선형성은 파라미터 행렬로 학습하고 FFN이 보정한다.

원리 2 — Selective SSM의 입력 의존성 (Mamba의 혁신)

S4까지의 SSM은 커널 파라미터가 입력과 독립적(time-invariant)이었다. Mamba(S6)는 커널 파라미터(A·B·C·Δ)를 입력 토큰에 따라 동적으로 변화시키는 "선택적(Selective)" 메커니즘을 도입했다. 이는 트랜스포머 어텐션이 쿼리-키 유사도로 중요한 토큰을 동적 선택하는 것과 동등한 표현력을 SSM에 부여하며, 특히 긴 문맥에서 관련 없는 정보를 효과적으로 필터링한다.

7. 변형·확장

진화 계보

주요 변형 모델

• Mamba (Selective SSM) — Albert Gu & Tri Dao, 2023. 입력 의존 선택 게이트. https://arxiv.org/abs/2312.00752
• Mamba-2 — 2024. SSD(State Space Duality)로 어텐션과 수학적 동치 증명. https://arxiv.org/abs/2405.21060
• Jamba (Mamba + Transformer 하이브리드) — AI21 Labs. 52B, 256K 컨텍스트. 강의에서 직접 언급.
• RWKV — Receptance Weighted Key Value. Linear Attention 기반 RNN 변종, O(N) 추론.

8. 다른 도구·접근과의 비교 (3-way)

💡 실무 노하우: Mamba2 논문은 SSM과 Linear Attention이 수학적으로 동치(State Space Duality)임을 증명했다. Linear Attention(Performer·Linformer)은 근사 오차 문제가 있지만 SSM은 정확한 적분 커널이므로 이론적으로 더 견고하다.

9. 한계·트레이드오프

1. 표현력 한계 — 30B 규모 상한선 (2026-05 기준)

강의 원문: "30B 모델 정도까지는 경쟁할 만해. 근데 120B 모델, 200B 모델 이런 거랑 겨룰 건 아니야." 30B 이하에서는 Mamba가 트랜스포머와 경쟁 가능하지만, 대규모 범용 LLM(120B+) 수준의 언어 이해·생성 품질은 현재 달성되지 않는다. 상용 대용량 LLM 완전 대체는 불가능하다.

2. In-Context Learning (ICL) 약함

트랜스포머는 Few-shot 예시를 컨텍스트에서 즉각 학습하는 ICL 능력이 강하다. Mamba는 Selective SSM으로 개선했으나 트랜스포머 대비 ICL 성능이 낮다. RAG·에이전트 시스템에서는 트랜스포머가 우세하다.

3. 하드웨어 의존 — CUDA 커널 필수

mamba-ssm의 핵심 성능은 커스텀 CUDA 커널(selective scan)에 의존한다. Apple Silicon(MPS)·AMD ROCm 지원이 불완전하므로 NVIDIA GPU 환경이 전제된다.

⚠️ 주의: Hugging Face MambaForCausalLM은 PyTorch 순수 구현으로 CPU 추론이 가능하지만, 대형 시퀀스에서 속도 이점이 사라진다. PoC·데모 목적으로만 사용하고 프로덕션은 CUDA 환경을 갖춰야 한다.

10. 최신 권장 패턴 (2026-05 기준)

• 하이브리드 모델 우선 — 순수 Mamba 보다 Jamba 같은 하이브리드가 안정적이다 (2026-05 기준, AI21 Labs 발표). SSM이 긴 문맥 순서 인식을 담당하고 Transformer가 ICL·패턴 매칭을 담당하는 역할 분리가 최선이다.

• Mamba-2 / S6 (Selective State Space) — Mamba-2의 SSD 구조는 어텐션과 수학적 동치를 증명했으므로 신규 도입 시 Mamba-2 기반 모델을 우선 검토한다. https://arxiv.org/abs/2405.21060

• 온디바이스 배포 — 양자화(INT8/INT4) + SSM 결합이 현재 가장 현실적인 엣지 배포 경로다 (KV 캐시 없음 + 선형 메모리). mamba-ssm + bitsandbytes 조합으로 4GB GPU에서도 2.8B 모델 구동 가능 (2026-05 기준).

• DNA·시계열 도메인 — 이 도메인에서는 하이브리드 없이 순수 Mamba(또는 Caduceus)가 트랜스포머 대비 압도적 우위를 보인다. 범용 LLM 대체보다 도메인 특화 모델로 적용한다.

💡 실무 노하우: 2026-05 기준, Hugging Face transformers 라이브러리에 Mamba2ForCausalLM이 통합되어 있으므로 별도 mamba-ssm 빌드 없이 Mamba-2 추론이 가능하다. 신규 PoC는 transformers 경로 A부터 시작한다.

📚 참고: Mamba 논문 — https://arxiv.org/abs/2312.00752 | Mamba-2 — https://arxiv.org/abs/2405.21060 | Jamba — https://arxiv.org/abs/2403.19887

11. 메타인지 자기평가

Step 1 — 현재 상태 점검

pip list | grep -E "transformers|mamba-ssm|torch"
nvidia-smi
python -c "import torch; print('CUDA:', torch.cuda.is_available())"

다음 개념을 스스로 설명할 수 있는지 확인합니다: - [ ] SSM이 O(N) 복잡도를 달성하는 원리 (적분 커널 + 병렬 계산) - [ ] Mamba 블록의 4개 레이어 순서 (LayerNorm → S4 → LayerNorm → MLP) - [ ] 트랜스포머 어텐션과 S4 출력이 호환되는 이유 (벡터값 동일) - [ ] Mamba가 LLM을 완전 대체할 수 없는 이유와 30B 한계 - [ ] Jamba 하이브리드 구조에서 Mamba와 Attention의 역할 분담

Step 2 — 적용 가능성 평가 (의사결정 체크리스트)

다음 질문에 답하여 Mamba 도입 여부를 판단합니다:

• [ ] 시퀀스 길이가 8K 토큰 이상인가? → YES: Mamba 비용 이점 명확
• [ ] DNA·시계열·주가·로그 등 긴 순서 데이터인가? → YES: Mamba 압도적 우위
• [ ] 30B 미만 모델로 충분한 도메인인가? → YES: Mamba 경쟁 가능
• [ ] Few-shot ICL·복잡 추론이 핵심인가? → YES: 트랜스포머 유지 권장
• [ ] NVIDIA GPU 환경이 보장되는가? → NO: Hugging Face 경로 A 사용

Step 3 — 점진 적용 로드맵

1. PoC: Hugging Face state-spaces/mamba-130m-hf로 도메인 데이터 추론 테스트
2. 벤치마크: 기존 트랜스포머 모델과 시퀀스 길이·속도·메모리 비교 (Step 4 코드 활용)
3. 파인튜닝: 도메인 데이터로 mamba-2.8b 파인튜닝 또는 LoRA 적용
4. 하이브리드: Jamba 패턴으로 Mamba + Transformer 결합 아키텍처 설계
5. 프로덕션: mamba-ssm CUDA 커널 + 양자화 + vLLM 서빙

✅ 확인: 로드맵 각 단계를 완료할 때마다 체크하고, 벤치마크 결과를 기록하여 도입 결정의 근거로 삼는다.